供给感知的旅行搜索冷启动主动查询建议框架 SCOUT
🧭 生成式 Query 建议 · 供给感知 RL ★ 深度解读
Airbnb, Inc.
用搜索重排分作免费 RL 奖励，GRPO 把供给感知压进 LLM，零推理成本追平 best-of-8
📌 工作参考价值（4 点）
- 可直接复用「用生产重排器 query-listing 匹配分作为 RL 奖励」：相比在线跑 best-of-N 或 LLM judge，重排分在 serving 路径本来就会算，奖励零额外推理；电商搜索/推荐可把现有 ranking model 的 relevance score 拆出来当密集奖励，降低训练成本。
- 冷启动无点击日志时，可用历史结构化请求（目的地/日期/人群等筛选条件）作为 context 主动生成 query，并用当前 catalog 检索 top K 后做离线 inventory/diversity 评估；这对新入口、新场景的无样本 bootstrapping 很实用。
- 若用 DPO 做生成式 query 对齐，注意 diversity collapse 风险；本文中 DPO 的 distinct%@0.9 掉到 11.07，RPO 加辅助 SFT loss 能恢复，GRPO 则天然更稳。业务里偏好优化建议优先 GRPO 或 RPO，而不是裸 DPO。
- 把 serve-time best-of-N 的验证成本「一次性摊销进模型权重」可成为部署架构：训练时用 search engine 做 environment 在线 rollout，线上不再多次检索；对 latency 敏感、库存/广告供给受限的搜索推荐链路很有借鉴意义。
生成式建模探索论坛帖子检索：跨平台语义 ID 迁移
🧭 生成式推荐 · 跨平台语义 ID 迁移 ★ 深度解读
William & Mary · Meta
用 3B 指令模型生成跨平台语义 ID，系统验证 SID 深度、历史渲染与 RL 后训练对冷启动推荐的影响
📌 工作参考价值（4 点）
- 冷启动新场景：直接复用已有大语料训练好的 RQ-VAE SID，不必为新 surface 训 tokenizer；用 prefix-based SID 跨平台迁移，能继承 item vocabulary，适合电商新频道/广告新位等冷启动。
- SID 层数选择：层数决定命中难度和输出空间。3 层 SID 在 HR@10 上比 4 层高 2.2×，但碰撞率更高；如果下游有精排/ rerank 可解歧，优先选粗粒度 SID 做召回，吞吐和命中联合更优。
- 少样本 prompt 工程：在 history 里用 "liked <a_1><b_1><c_1>" 动词化，几乎零成本，比继续预训练对齐还划算；应优先做 prompt 动词化，预算允许再做 text↔SID 对齐。
- 模型容量不是瓶颈：3B 与 12B 效果几乎相同，算力应花在 SID grounding 和训练步数上。GRPO 在短序列生成式推荐中 reward 过于稀疏，约 95% rollout 组无梯度；若要上 RL，需先按 prefix 重叠设计分级语义 reward，并把 non-zero advantage ratio 作为第一诊断指标。
记忆层：联合训练推荐模型的内置缓存
🧭 训练-服务一致性 · 嵌入式缓存联合训练 ★ 深度解读
Meta
将物品嵌入缓存变为训练-服务共享的可写组件，消除表示不一致，冷启动提升5-6%，NE gap降低86%
📌 工作参考价值（5 点）
- 将离线批量评估替换为可训练的嵌入缓存：在粗排/精排中，可将物品塔输出写入共享嵌入表，训练时直接读取该表计算损失，推理时也读取同一表，消除特征源和新鲜度差异，大幅缩小训练-服务 NE gap。
- Writeback 精确赋值技巧：用学习率 η=1 的 SGD 优化器，通过构造梯度 g_wb = cached − target 实现 exact assignment，将物品塔输出写入缓存，无需额外优化器状态或自定义 CUDA 内核，工程实现简单。
- 多表训练（Multi-Table Training）覆盖全候选池：同时将从训练流和候选池流读取数据，合并特征后通过一次物品塔前向写入缓存，训练损失仅用训练样本，确保缓存包含全量候选物品，不再依赖单独的每小时批量评估服务，降低维护复杂度。
- Raw Embedding Streaming 实时更新缓存：在训练 TBE 预取时捕获更新后的嵌入，通过异步流水线每秒推送到预测器，达到约 20 秒延迟，比分钟级批量流式更新显著提升新鲜度，冷启动物品召回提升超 2×。
- Always-on 兜底消除硬 fallback：用少量通用特征（如作者 ID）生成 always-on 嵌入，缓存命中时与缓存嵌入融合，缺失时只用 always-on 嵌入，模型通过学习自动调节依赖权重，使冷启动物品和缺失物品仍能获得合理分数，避免固定负分或随机降级导致的体验和指标损失。
CoPersona：基于协作人格图的鲁棒 LLM 个性化
🧭 LLM 个性化 · 图协作消偏 · 多面建模 ★ 深度解读
Yale University · Samsung
通过构建多面相似度图来借力行为相似的同伴，缓解因用户历史稀疏与偏斜导致的个性化生成冷启动
📌 工作参考价值（4 点）
- 面对用户历史稀疏的场景：可用协同的思路，从行为相似的同伴那里“借”信号补全用户的弱项维度，而不是仅在自身上检索。
- Facet 解耦与多面图构建：先无监督地归纳出全局人格面（如评论中的 tone、主题偏好、价值观），再按面分别建相似度图，可避免全局相似度带来的噪声。该思路可直接用于品评文案生成、商品推荐理由个性化等任务，按“写作风格”“价格敏感度”等维度对用户分层。
- 双分支推理架构：非参分支提供可解释的文本范例，供 LLM 作为上下文；参数分支通过可靠性门控在图上游走补全弱置信度面的向量，再压缩成软提示 token 注入 LLM，两者互补。实际工程中可按资源拆解：低成本场景只用检索范例，高成本场景加训软提示。
- 可靠性标签与门控：为每个用户每面的摘要打分（none/weak/moderate/strong），在图传递时根据可靠性加权，避免低质量信息污染。类似地，在 Agent 协作中可按证据强度对同伴信号加权，降低幻觉。
量化意图：基于有机活动的跨域语义ID用于工业广告排序
🧭 跨域语义ID · 行为活动丰富度 ★ 深度解读
LinkedIn
提出跨域用户语义ID和行为活动丰富度原则，利用有机Feed信号提升广告冷启动CTR达+1.522%，同时RQ-FSQ匹配密集AUC且存储缩小30～280倍
📌 工作参考价值（4 点）
- 行为活动丰富度选源原则：跨域特征优先选择编码近期行为信号（如浏览、互动序列）的源，而非静态画像文本。实验显示 Feed Activity 直接聚合行为比纯文本嵌入多 +0.177% AUC，可作为电商/广告系统选择外部特征源的直接指导。
- RQ-FSQ 离散化通用方案：将预训练用户/商品嵌入离散化时，可结合残差 VQ 保留全局结构与单维标量量化保留细节，匹配甚至超过原始密集嵌入 AUC。这一方法适用于压缩 LLM 编码器输出，在存储受限的推荐服务中能直接复用，实现 30～280 倍压缩而不掉点。
- HDE 模块即插即用：使用前缀 n-gram 哈希表对任意 K 级离散 ID 序列编码，支持多源独立查表与求和，插入现有 CTR 特征层无需修改骨干网络。该设计可直接迁移到电商排序模型的特征工程环节，降低多源离散特征集成成本。
- 冷启动行为桥接：将非广告域（如内容浏览、社交互动）的丰富行为量化为语义 ID，作为排序模型的用户侧特征，可有效缓解新用户/稀疏用户信号不足，冷启动段 CTR 提升达 +1.522%，对电商 Push、新客推荐场景有直接借鉴意义。
用 LLM 合成查询与标签破解自然语言搜索冷启动
🧭 自然语言搜索 · 合成数据冷启动 ★ 深度解读
Airbnb
用少量种子查询引导 LLM 生成带标咨询数据和标签，使查询分布接近真实用户，支持检索与排序模型冷启动训练
📌 工作参考价值（4 点）
- 用种子查询控制 LLM 生成风格：直接让 LLM 无约束生成会产出冗长、多属性的查询，与真实用户短促、不规范的表达严重不匹配。从用户调研或早期日志中收集数百条种子查询作为模板，可以大幅降低 KL 散度（本文从 4.95→0.66），实现更逼真的查询分布。在电商搜索、对话式推荐中可复用此思路，用小样本种子让合成数据贴合真实语言。
- 三类提示模板平衡真实性与多样性：seed_controlled 严格保持种子结构，适合属性覆盖；seed_freeform 模仿风格但允许变化；variety 放松约束、提高温度，探索长尾意图。实际生成时按比例混合三种模板，既能保证主流查询的真实感，又能覆盖边缘场景。推荐系统在生成候选集时可借鉴这种分阶段控制的提示策略。
- 困难样本构建的分层采样与提示技巧：为避免全是简单样本（所有模型都能答对），通过限制样本对相似度（同类别、嵌入距离过滤）和提示中加入“难度桶”、反事实编辑等手段生成有区分度的训练数据。这对于提高 ranking 模型的迭代信号非常重要，电商场景下可借鉴硬负样本挖掘来提升模型判别力。
- 从 LLM 自生成数据中避开自偏好陷阱：用 LLM 评估 LLM 生成的内容容易出现系统性偏爱（本文 GPT 评估自身生成的对准确率高达 99%），实际训练中建议用构建式标签（对比生成）保证高保真，用 LLM 评估仅作离线质量检查；且通过属性锚定、人工校准、使用异构模型降低自我偏好风险。这对任何用 LLM 生成训练数据的团队都是重要提醒。
语言诱导先验的冷启动域适应框架
🧭 利用LLM文本先验指导冷启动域适应
用LLM将目标域文本描述转化为源选择先验，嵌入EM算法解决冷启动负迁移
📌 工作参考价值（4 点）
- 电商推荐场景冷启动物品/用户：若有文本描述（标题、属性），可用类似LIP的方法通过LLM生成对相似源域（如成熟品类）的偏好概率，减少迁移时的负迁移风险。
- 多智体协作中的经验复用：当任务用自然语言描述时，可借助LLM先验快速筛选相关历史任务数据，提升少样本策略学习效率。
- 与现有预估模型兼容：框架仅要求模型有似然函数，可无缝集成到CTR/CVR预估的线性或深度模型，无需改动结构。
- 工程实现轻量：先验可离线通过LLM计算文本嵌入相似度得到，在线阶段只是简单的概率加权，延迟可控。